一般的ML应用程序中缺少数据方案非常常见,时间序列/序列应用也不例外。本文涉及基于新的复发神经网络(RNN)解决方案,用于丢失数据下的序列预测。我们的方法与所有现有方法不同。它试图直接编码数据中的丢失模式,而无需在模型构建之前或期间尝试将数据归为数据。我们的编码是无损的,并实现了压缩。它可以用于序列分类和预测。在存在可能的外源输入的情况下,我们将重点放在多步预测的一般背景下进行预测。特别是,我们为此提出了编码器码头(SEQ2SEQ)RNN的新型变体。这里的编码器采用上述模式编码,而在具有不同结构的解码器中,多个变体是可行的。我们通过对单个和多个序列(实际)数据集的多个实验来证明我们提出的体系结构的实用性。我们考虑两种情况,其中(i)数据自然缺少,并且(ii)数据被合成掩盖。
translated by 谷歌翻译
一般而言,深度学习(DL)尤其是复发性神经网络(RNN)在基于序列的应用中获得了很高的成功水平。本文与RNN有关时间序列建模和预测。我们提出了一种新颖的RNN体系结构捕获(随机)季节性相关性,同时能够准确的多步骤预测。它是由著名的编码器架构(ED)体系结构和乘法季节性自动回归模型的动机。即使在外源输入的存在(或不存在)的情况下,它也结合了多步(多目标)学习。它可以用于单个或多个序列数据。对于多个序列情况,我们还提出了一种新型的贪婪递归程序,以构建(一个或多个)在序列数据较少时跨序列的预测模型。我们通过广泛的实验证明了我们提出的架构在单序和多个序列方案中的实用性。
translated by 谷歌翻译
We propose a novel deep neural network architecture to learn interpretable representation for medical image analysis. Our architecture generates a global attention for region of interest, and then learns bag of words style deep feature embeddings with local attention. The global, and local feature maps are combined using a contemporary transformer architecture for highly accurate Gallbladder Cancer (GBC) detection from Ultrasound (USG) images. Our experiments indicate that the detection accuracy of our model beats even human radiologists, and advocates its use as the second reader for GBC diagnosis. Bag of words embeddings allow our model to be probed for generating interpretable explanations for GBC detection consistent with the ones reported in medical literature. We show that the proposed model not only helps understand decisions of neural network models but also aids in discovery of new visual features relevant to the diagnosis of GBC. Source-code and model will be available at https://github.com/sbasu276/RadFormer
translated by 谷歌翻译
丰富的时间信息和视角中的变化使视频数据成为使用无监督的对比度学习(UCL)技术学习图像表示的有吸引力的选择。最先进的(SOTA)对比度学习技术将视频中的帧视为嵌入空间中的阳性,而其他视频的框架则被视为负面因素。我们观察到,与自然场景视频中对象的多种视图不同,超声(US)视频捕获了器官的不同2D片。因此,即使是相同的美国视频的暂时遥远框架之间几乎没有相似之处。在本文中,我们建议相反使用诸如硬底面的框架。我们主张在UCL框架中对硬度敏感的负挖掘课程进行挖掘,并在硬度敏感的负面挖掘课程中挖掘,以学习丰富的图像表示。我们部署框架以从美国视频中学习胆囊(GB)恶性肿瘤的表示。我们还构建了第一个大型US视频数据集,其中包含64个视频和15,800帧,用于学习GB表示。我们表明,经过我们框架训练的标准RESNET50骨干线可以提高使用SOTA UCL技术预测的模型的准确性,并在Imagenet上对ImageNet上的有监督的预处理模型提高了GB恶性检测任务的预期模型,提高了2-6%。我们进一步验证了方法在COVID-19病理的公开肺图像数据集上的普遍性,与SOTA相比,改善了1.5%。源代码,数据集和模型可在https://gbc-iitd.github.io/usucl上找到。
translated by 谷歌翻译
通过仇恨语音检测,民意调查预测,参与预测和协调宣传检测,在社交媒体文本中检测和标记姿势强烈激励。今天的最佳神经姿势探测器需要大量的培训数据,这难以策划,鉴于社交媒体文本的快速变化和用户撰写的问题。社交网络的同性恋特性提供了强大的粗粒式用户级姿态信号。但是,发动机级姿势检测的半监督方法未能正确地利用同一性。鉴于此,我们呈现出新的半监督姿态探测器。沙子从很少有标记的推文开始。它构建了促进推文的多个深度特色视图。它还使用来自社交网络的远程监督信号,为组件学习者提供代理丢失信号。我们准备了两个新的推文数据集,其中包括来自两个人口统计数据(美国和印度)的政治上有关的236,000多次推文,以超过87,000名用户,他们的追随者 - 追随图,以及由语言学家注释的超过8,000名推文。 Sands在美国(印度)的数据集上实现了0.55(0.49)的宏观F1得分,表现出17个基线(包括沙子的变体),特别是对于少数群体立场标签和嘈杂的文本。砂岩的许多消融实验解开了文本和网络传播的姿态信号的动态。
translated by 谷歌翻译
使用来自表格(TableQA)的信息回答自然语言问题是最近的兴趣。在许多应用程序中,表未孤立,但嵌入到非结构化文本中。通常,通过将其部分与表格单元格内容或非结构化文本跨度匹配,并从任一源中提取答案来最佳地回答问题。这导致了HybridQA数据集引入的TextableQA问题的新空间。现有的表格表示对基于变换器的阅读理解(RC)架构的适应性未通过单个系统解决两个表示的不同模式。培训此类系统因对遥远监督的需求而进一步挑战。为了降低认知负担,培训实例通常包括问题和答案,后者匹配多个表行和文本段。这导致嘈杂的多实例培训制度不仅涉及表的行,而且涵盖了链接文本的跨度。我们通过提出Mitqa来回应这些挑战,这是一个新的TextableQA系统,明确地模拟了表行选择和文本跨度选择的不同但密切相关的概率空间。与最近的基线相比,我们的实验表明了我们的方法的优越性。该方法目前在HybridQA排行榜的顶部,并进行了一个试验集,在以前公布的结果上实现了对em和f1的21%的绝对改善。
translated by 谷歌翻译
知识库完成(KBC)最近是一个非常活跃的领域。最近的一些KBCPAPER提出了建筑变化,新的培训方法甚至新的配方。KBC系统通常在标准基准数据集上进行评估:FB15K,FB15K-237,WN18,WN18RR和Yago3-10。大多数现有方法在这些数据集中为每个正实例训练少量的负样本,以节省计算成本。本文讨论了最近的发展如何使我们能够使用所有可用的负样本进行培训。我们表明,使用所有可用的负样本进行培训时,复杂的复合物在所有数据集上都具有近乎最先进的性能。我们称这种方法为复杂V2。我们还强调了最近在文献中提出的各种乘法KBC方法如何受益于这种训练制度,并且在大多数数据集上的性能方面都无法区分。根据这些发现,我们的工作要求重新评估其个人价值。
translated by 谷歌翻译